Theo mẫu của Cơ mật viện Vương quốc Liên hiệp Anh và Bắc Ireland, thể chế này cố vấn cho Thiên hoàng các vấn đề có tầm quan trọng to lớn bao gồm: (1) đề xuất sửa đổi Luật Hoàng thất năm 1889 và Hiến pháp Đế quốc Nhật Bản; (2) các vấn đề giải thích hiến pháp, đề xuất các luật và sắc lệnh; (3) tuyên bố thiết quân luật và tuyên chiến; (4) điều ước và các hiệp định quốc tế; (5) các vấn đề liên quan đến việc kế vị ngai vàng và tuyên bố nhiếp chính theo luật Hoàng thất; và (6) các vấn đề khác được Thiên hoàng đưa ra xem xét (nói chung là theo lời khuyên của nội các). Do đó, Xu mật viện có cả chức năng tư pháp lẫn hành pháp. Tuy vậy, hội đồng không có quyền lập pháp.

Xu mật viện Nhật Bản được thành lập theo một sắc dụ của Thiên hoàng Meiji vào ngày 28 tháng 4 năm 1888, với Chủ tịch là Ito Hirobumi, để thảo luận kỹ về bản dự thảo hiến pháp.[1] Hiến pháp mới, mà Thiên hoàng ban hành ngày 11 tháng 2 năm 1889, có đề cập qua về Xu mật viện ở Chương 5, Điều 46: "Các Cố vấn của Xu mật viện sẽ, cho phù hợp với các điều khoản tổ chức Xú mật viện, thảo luận ký các vấn đề quan trọng của Nhà nước khi họ được Thiên hoàng tham vấn."